Self-Improving Language Models with Bidirectional Evolutionary Search
双向进化搜索：让语言模型突破分布边界自我改进
🧭 双向进化搜索 · 自改进采样 ★ 深度解读
Harvard University · MIT
提出双向进化搜索框架，用进化算子突破模型候选分布局限，通过后向目标分解提供密集反馈
📌 工作参考价值（4 点）
- 进化算子重组轨迹，逃离模型概率高熵壳：在前向搜索中引入组合、转位、删除、交叉四种算子，将不同候选的部分轨迹拼接/编辑，生成单次自回归不易产生的多样化样本。电商 Agent 的复杂多步推理中，可借鉴这种思路从已有交互日志中合成新候选，提升长尾问题覆盖率。
- 后向目标分解提供密集验证信号：通过递归拆解任务为可检查子目标（例如多跳 QA 可分成“检索第一跳事实”“验证中间结论”等），为部分完成的轨迹输出细粒度得分。可用在电商多轮对话或 Tool-use Agent 的中间步骤评分，避免稀疏奖励导致训练不稳定。
- 即插即用的采样替代方案：BES 可替换任何 RL 后训练（如 GRPO）中的 i.i.d. 采样阶段，为困难任务发现高奖励训练样本，使基座模型获得明显提升（如 MuSiQue 上 +3.8%）。电商搜索 Agent 的训练中可直接集成，无需修改原有 RL 算法。
- 工程实现灵活：进化算子既可直接编辑 token 序列，也可用 LLM 提示实现（本文在代码生成任务中采用后者）；子目标验证器支持规则、代码执行、嵌入相似度或 LLM 评判，易于根据业务场景快速适配。